[java1.8源码笔记]ConcurrentHashMap剖析

概述

ConcurrentHashMap是HashMap的线程安全版本,可以用来替代HashTable,HashTable的线程安全是通过用synchronized关键词来修饰每个方法来实现,,即Hashtable是针对整个table的锁定,同一时刻只能有一个方法被一个线程执行,这样就导致HashTable容器在竞争激烈的并发环境下表现出效率低下。而在java1.8中ConcurrentHashMap通过CAS来实现非阻塞的无锁线程安全、在操作hash值相同的hash桶时用synchronized锁住链表头结点来实现线程安全,锁粒度更小,并发性更高。

ConcurrentHashMap的底层与Java1.8的HashMap有相通之处,底层依然由“数组”+链表+红黑树来实现的。当发生碰撞时,用链表解决hash碰撞,当链表长度>=8时,将链表转换为红黑树结构(table容量小于64时,不执行转换操作,先扩容)。

ConcurrentHashMap不接受nullkey和nullvalue

ConcurrentHashMap在java1.8中实现与java1.7中的区别:
在java1.7中,ConcurrentHashMap使用的就是分段锁技术,ConcurrentHashMap由多个Segment组成(Segment下包含很多Node,也就是我们的键值对了),每个Segment都有把锁来实现线程安全,当一个线程占用锁访问其中一个段数据的时候,其他段的数据也能被其他线程访问。

部分相关内部类介绍

Node

Node为ConcurrentHashMap中实际保存插入的key和value的节点,实现了Entry接口,在ConcurrentHashMap中实际保存的是Node及其子类的对象

static class Node<K,V> implements Map.Entry<K,V> {
    //Node节点的属性hash值保存的实际上是key的hash值(确切的说是key的hash值经过spread()函数计算后的结果)
    final int hash;     
    final K key;
    volatile V val;
    volatile Node<K,V> next;
}

ForwardingNode

ForwardingNode为Node的子类,用于map扩容时标记和通知其他线程,当前正在扩容;当每个线程迁移完table中一个索引位置i处hash桶中所有key时,将table[i]置为一个ForwardingNode对象,其他线程在操作map时发现ForwardingNode对象,则加入一起辅助扩容。

/**
 * A node inserted at head of bins during transfer operations.
 */
static final class ForwardingNode<K,V> extends Node<K,V> {
    final Node<K,V>[] nextTable;
    ForwardingNode(Node<K,V>[] tab) {
        super(MOVED, null, null, null); //hash值为MOVED(-1)的节点就是ForwardingNode
        this.nextTable = tab;
    }

    // 通过此方法,访问迁移到nextTable中的数据
    Node<K,V> find(int h, Object k) {
        // loop to avoid arbitrarily deep recursion on forwarding nodes
        outer: for (Node<K,V>[] tab = nextTable;;) {
            Node<K,V> e; int n;
            if (k == null || tab == null || (n = tab.length) == 0 ||
                (e = tabAt(tab, (n - 1) & h)) == null)
                return null;
            for (;;) {
                int eh; K ek;
                if ((eh = e.hash) == h &&
                    ((ek = e.key) == k || (ek != null && k.equals(ek))))
                    return e;
                if (eh < 0) {
                    // 如果为ForwardingNode,则重新从outer位置开始
                    if (e instanceof ForwardingNode) {
                        tab = ((ForwardingNode<K,V>)e).nextTable;
                        continue outer;
                    }
                    else
                        return e.find(h, k);//如果不为ForwardingNode,则可能为TreeBin等节点,具体见get()函数分析
                }
                // 遍历链表中下一个节点
                if ((e = e.next) == null)
                    return null;
            }
        }
    }
}

TreeNode

TreeNode为红黑树节点,但TreeNode用于TreeBin中,并未直接插入ConcurrentHashMap的hash桶中

/**
 * Nodes for use in TreeBins
 */
static final class TreeNode<K,V> extends Node<K,V> {
    TreeNode<K,V> parent;  // red-black tree links
    TreeNode<K,V> left;
    TreeNode<K,V> right;
    TreeNode<K,V> prev;    // needed to unlink next upon deletion
    boolean red;

    TreeNode(int hash, K key, V val, Node<K,V> next,
             TreeNode<K,V> parent) {
        super(hash, key, val, next);
        this.parent = parent;
    }
    ...
}

TreeBin

ConcurrentHashMap链表转树时,并不会直接转,只是把这些链表节点包装成TreeNode放到TreeBin中,再由TreeBin来转化红黑树。TreeBin用于封装维护TreeNode,当链表转树时,用于封装TreeNode,也就是说,ConcurrentHashMap的红黑树存放的时TreeBin,而不是treeNode。

static final class TreeBin<K,V> extends Node<K,V> {
    TreeNode<K,V> root;
    volatile TreeNode<K,V> first;
    volatile Thread waiter;
    volatile int lockState;
    // values for lockState
    static final int WRITER = 1; // set while holding write lock
    static final int WAITER = 2; // set when waiting for write lock
    static final int READER = 4; // increment value for setting read lock
}

初始化

ConcurrentHashMap采用延迟初始化,new一个ConcurrentHashMap对象时,并未初始化table结构,直到第一次插入数据时才真正初始化table数组,table是一个Node数组,Node保存了插入的key和value。初始化时如果没有设置ConcurrentHashMap容量的大小(即数组table的大小),则默认大小为16,ConcurrentHashMap容量大小通常为2的幂次方。

ConcurrentHashMap如何保证并发环境下table只被初始化一次?准备初始化table的线程,先利用CAS操作将sizeCtl的值置为-1,如果CAS操作成功再进行初始化;其他线程准备初始化时,先检查sizeCtl的值,如果小于0,则说明有其他线程正在进行初始化,此线程执行Thread.yield()函数放弃时间片。

相关成员属性介绍

  • transient volatile Node[] table;

    map底层存储数据的数组,采用延迟初始化,直到第一次插入数据时才真正初始化该数组,数组大小通常为2的幂次方

  • private transient volatile int sizeCtl;

    sizeCtl是控制标识符,在不同的阶段,其值代表不同的意义

    (1)负数代表正在进行初始化或扩容操作 ,其中-1代表正在初始化 ;表示扩容时,低16位的值N 表示有N-1个线程正在进行扩容操作(具体含义在扩容时介绍)

    (2)table == null时,表示创建table时的初始化大小,默认初始化值是0

    (3)table初始化后,表示触发下一次扩容操作的table容量阈值(大于该阈值时需要扩容)

源码分析

/**
 * Initializes table, using the size recorded in sizeCtl.
 */
private final Node<K,V>[] initTable() {
    Node<K,V>[] tab; int sc;
    while ((tab = table) == null || tab.length == 0) {
        if ((sc = sizeCtl) < 0)             //如果sizeCtl为负数,则说明已经有其它线程正在进行初始化,
            Thread.yield(); // lost initialization race; just spin
        //初始化table之前,利用CAS将sizeCtl设置为-1,表示当前已有线程正在初始化,保证只有一个线程能够执行table初始化
        else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
            try {
                if ((tab = table) == null || tab.length == 0) {
                    int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
                    @SuppressWarnings("unchecked")
                    Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                    table = tab = nt;
                    sc = n - (n >>> 2);     //即sc = 0.75n
                }
            } finally {
                sizeCtl = sc;    // 更新扩容阈值
            }
            break;
        }
    }
    return tab;
}

插入操作-put

先判断key和value是否为null,如果为null则抛出异常;如果table为null或大小为0,则进行初始化;如果待插入的hash桶位置不存在其他key则直接用CAS操作插入数据;如果发现其他线程正在执行扩容操作,则帮助扩容;如果发生碰撞,则根据hash桶中现有节点为链表还是红黑树结构,执行相应的插入操作;如果是链表结构,插入后检查链表长度是否>=8,如果是则转换成红黑树;最后增加key的数量计数

相关成员属性介绍

  • static final int MOVED = -1; // hash for forwarding nodes

    hash值为MOVED(-1)的节点,表示当前有线程正在扩容;扩容时,每迁移完一个hash桶中的节点时,会在hash桶中插入一个ForwardingNode节点,该节点的hash值为MOVED(-1)

  • static final int TREEBIN = -2; // hash for roots of trees

    hash值为TREEBIN(-2)的节点,表示该hash桶中为红黑树结构,在将链表转换为红黑树时,在table[i]位置插入一个TreeBin节点,该节点的hash值为TREEBIN(-2)

    因此在插入操作时,如果位置i处的节点hash值>=0,表示为链表;否则hash值为-2,为红黑树

源码分析

 public V put(K key, V value) {
    return putVal(key, value, false);
 }

/** Implementation for put and putIfAbsent */
final V putVal(K key, V value, boolean onlyIfAbsent) {
    if (key == null || value == null) throw new NullPointerException();
    int hash = spread(key.hashCode());
    int binCount = 0;
    for (Node<K,V>[] tab = table;;) {
        Node<K,V> f; int n, i, fh;
        if (tab == null || (n = tab.length) == 0) //如果table为null或大小为0,则初始化
            tab = initTable();
        else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {    // i=(n-1)&hash 等价于i=hash%n(前提是n为2的幂次方)
            if (casTabAt(tab, i, null,
                         new Node<K,V>(hash, key, value, null)))
                break;                   // no lock when adding to empty bin
        }
        else if ((fh = f.hash) == MOVED) //检查table[i]的节点的hash是否等于MOVED,如果等于,则检测到正在扩容,则帮助其扩容
            tab = helpTransfer(tab, f);
        else {
            V oldVal = null;
            // 当有修改操作时借助了synchronized来对table[i]进行锁定保证了线程安全
            synchronized (f) { //锁定,(hash值相同的链表的头节点)
                if (tabAt(tab, i) == f) {
                    if (fh >= 0) {  //链表节点,TreeBin节点的hash值在TreeBin构造函数中设置为TREEBIN(-2)
                        binCount = 1;
                        for (Node<K,V> e = f;; ++binCount) {
                            K ek;
                            if (e.hash == hash &&
                                ((ek = e.key) == key ||
                                 (ek != null && key.equals(ek)))) {
                                oldVal = e.val;
                                if (!onlyIfAbsent)
                                    e.val = value;
                                break;
                            }
                            Node<K,V> pred = e;
                            if ((e = e.next) == null) {             //如果链表中不存在相同的key,则插入到链表末尾
                                pred.next = new Node<K,V>(hash, key,
                                                          value, null);
                                break;
                            }
                        }
                    }
                    else if (f instanceof TreeBin) {
                        Node<K,V> p;
                        binCount = 2;
                        if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                       value)) != null) {
                            oldVal = p.val;
                            if (!onlyIfAbsent)
                                p.val = value;
                        }
                    }
                }
            }
            //插入成功后,如果插入的是链表节点,则要判断下该桶位是否要转化为树
            if (binCount != 0) {
                if (binCount >= TREEIFY_THRESHOLD)
                    treeifyBin(tab, i);
                if (oldVal != null)
                    return oldVal;
                break;
            }
        }
    }
    // 增加计数
    addCount(1L, binCount);
    return null;
}

在经典的hash表数据结构中,一种常用的散列法为除留余数法,即key的hash值对table大小n取余数(i=hash(key)%n),然而这里计算key在table中的位置时,由于在ConcurrentHashMap中n的大小为2的幂次方,所以可以用(i = (n - 1) & hash),位运算比取余数运算效率更高。

当插入位置处不存在key时,采用CAS无锁方式插入来保证线程安全;当存在key,需要对链表或红黑树操作时,利用synchronized对table[i]节点进行锁定保证线程安全。

int hash = spread(key.hashCode());    
static final int spread(int h) {
    return (h ^ (h >>> 16)) & HASH_BITS;
}

计算hash值时,让key的hashCode值无符号右移16位得到高16位,与低16进行异或操作,主要是在key的hashCode值比较小时,让所有的位都尽量参与进来,减少hash碰撞

// 将碰撞链表转换为红黑树,除非table大小非常小(默认小于64),则先直接扩容来解决碰撞
private final void treeifyBin(Node<K,V>[] tab, int index) {
    Node<K,V> b; int n, sc;
    if (tab != null) {
        if ((n = tab.length) < MIN_TREEIFY_CAPACITY)    //table容量小于64,则先扩容
            tryPresize(n << 1);
        else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {  // b.hash >= 0表示为链表,进一步验证
            synchronized (b) {
                if (tabAt(tab, index) == b) {   //加锁后进一步验证,有可能被别的线程转换过了,时刻考虑并发
                    TreeNode<K,V> hd = null, tl = null;
                    for (Node<K,V> e = b; e != null; e = e.next) {  //形成了一个TreeNode的双向链表
                        TreeNode<K,V> p =
                            new TreeNode<K,V>(e.hash, e.key, e.val,
                                              null, null);
                        if ((p.prev = tl) == null)
                            hd = p;
                        else
                            tl.next = p;
                        tl = p;
                    }
                    setTabAt(tab, index, new TreeBin<K,V>(hd));
                }
            }
        }
    }
}

转换成红黑树后,table[i]处为一个TreeBin节点,其hash值为TREEBIN(-2)。

helpTransfer(帮助扩容)、tryPresize(扩容)、addCount(计数)这几个函数后面相应的章节分析。

扩容与辅助扩容

前面说过,当table初始化后,sizeCtl的值表示扩容阈值,阈值大小通常为当前容量大小的0.75(在ConcurrentHashMap中是用 n - (n >>> 2) 或者 (n << 1) - (n >>> 1) 替代n * 0.75来计算阈值),当table中key的数量大于等于阈值时,开启对table扩容,每次扩容table容量大小变为原来的两倍。

ConcurrentHashMap中支持多线程同时扩容,当线程在插入数据时,如果发现有其他线程正在对table进行扩容,则帮忙一起扩容;前面说过,扩容时每迁移完一个索引为index的hash桶中的key,将table[index]置为ForwardingNode节点,该节点的hash值为MOVED(-1),当插入数据时,发现节点的hash值为-1,表示有其他线程正在进行扩容。

扩容时,从table的最右边开始迁移,即从table[n-1]往table[0]逐个迁移hash桶中的节点;每个线程扩容时每次从右到左至少获取MIN_TRANSFER_STRIDE个hash桶并且迁移桶中key;每迁移完一个hash桶中的全部key,将table[i]置为ForwardingNode节点,其hash值为-2,标记正在扩容且该hash桶已经迁移完毕。

另外当调用putAll函数插入数据时,以及将链表转换为红黑树结构时(如果table容量<64),也都会触发扩容,调用了tryPresize()函数

相关成员属性介绍

  • private static final int MIN_TRANSFER_STRIDE = 16;

    扩容线程每次最少要迁移的hash桶数量,默认值为16

  • private static int RESIZE_STAMP_BITS = 16;

    扩容过程中,sizeCtl数值中用于表示generation stamp的位数

    在扩容过程中,sizeCtl为负数,并且被划分为两个部分

    高RESIZE_STAMP_BITS位表示generation stamp,低(32 - RESIZE_STAMP_BITS)位表示正在辅助扩容的线程数

    为了保证sizeCtl一定为负数,generation stamp的最高位被置为1

  • private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;

    辅助扩容的最大线程数 (32 - RESIZE_STAMP_BITS为sizeCtl中用于表示辅助扩容线程数的位数)

  • private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;

    由于高RESIZE_STAMP_BITS位表示generation stamp,所以操作时需要对generation stamp进行移位,

    保存时需要先左移RESIZE_STAMP_SHIFT位,再与正在扩容的线程数进行按位或操作,

    获取时,需要先右移RESIZE_STAMP_SHIFT位

  • private transient volatile int transferIndex;

    扩容索引,表示已经分配给扩容线程的table数组的索引位置。主要用来协调多个线程,并发安全的获取迁移任务(hash桶)

    每个准备辅助扩容的线程,都先从transferIndex索引位置开始,向前获取至少MIN_TRANSFER_STRIDE个hash桶,然后迁移获取的hash桶中的key

  • private transient volatile Node[] nextTable;

    扩容时用于保存key的数组结构,扩容完毕后置为null

源码分析

开启扩容操作在插入数据后的增加计数addCount函数中,

// 判断是否需要扩容
    if (check >= 0) {
        Node<K,V>[] tab, nt; int n, sc;
        // 如果table中key数量大于等于阈值,且table!=null,且当前容量小于最大容量值,则扩容
        while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
               (n = tab.length) < MAXIMUM_CAPACITY) {
            int rs = resizeStamp(n);
            if (sc < 0) { //表示有其他线程正在扩容,则检查是否需要辅助扩容
                /**
                 * 1 (sc >>> RESIZE_STAMP_SHIFT) != rs : 表示generation stamp不对
                 * 2 sc == rs + 1 :表示什么??? 感觉也有问题
                 * 3 sc == rs + MAX_RESIZERS : 感觉应该是sc == (rs << RESIZE_STAMP_SHIFT)  + MAX_RESIZERS 表示辅助扩容线程数达到最大
                 * 4 (nt = nextTable) == null :表示nextTable正在初始化
                 * 5 transferIndex <= 0 :表示所有hash桶均分配出去
                 */

                //如果不需要帮其扩容,直接返回
                if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                    sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
                    transferIndex <= 0)
                    break;
                //CAS设置sizeCtl=sizeCtl+1    增加扩容线程数
                if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
                    transfer(tab, nt);  //帮其扩容
            }
            //第一个执行扩容操作的线程,将sizeCtl设置为:(resizeStamp(n) << RESIZE_STAMP_SHIFT) + 2)
            else if (U.compareAndSwapInt(this, SIZECTL, sc,
                                         (rs << RESIZE_STAMP_SHIFT) + 2))
                transfer(tab, null);
            s = sumCount(); //每次扩容后检查占用率是否需要进行再一次扩容,因为扩容滞后于添加元素。
        }
    }

因为第一个扩容线程将sizeCtl置为(resizeStamp(n) << RESIZE_STAMP_SHIFT) + 2),所以sizeCtl的低32 - RESIZE_STAMP_BITS表示的实际上是正在扩容的线程数+1

在扩容前,sizeCtl为阈值,大于0,在并发时,使用CAS交换只有一个线程有机会设置成功并且执行nextTable的初始化,保证了nextTable也只会被初始化一次

static final int resizeStamp(int n) {
    return Integer.numberOfLeadingZeros(n) | (1 << (RESIZE_STAMP_BITS - 1));
}

此函数为计算扩容时的generation stamp,numberOfLeadingZeros返回二进制值中第一个1左边0的个数,由于在ConcurrentHashMap中容量大小为2的幂次方,所以每次扩容时,容量大小扩大一倍(乘2),numberOfLeadingZeros返回值就会减小1,generation stamp也就会减小1。
numberOfLeadingZeros的实现详解可以参考http://blog.csdn.net/abcdef314159/article/details/70176707

0 <= Integer.numberOfLeadingZeros(n) <= 32;(只有n为负数时返回值为0,这里n>=0,返回值不会等于0)

按位或运算是为了将generation stamp的最高位置为1,这样再将generation stamp左移RESIZE_STAMP_SHIFT后,第32位就为1,保证在扩容过程中sizeCtl为负数(RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS)

扩容函数如下:

private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
    int n = tab.length, stride;
    // 计算每次迁移的hash桶个数
    if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
        stride = MIN_TRANSFER_STRIDE; // subdivide range(细分范围)
    // 这里初始化nextTable时,貌似没有像初始化table那样考虑并发初始化问题
    // 其实是在调用transfer(tab,null)处,通过CAS设置sizeClt值控制了并发问题,只有设置成功才可以调用transfer(tab,null)
    if (nextTab == null) {            // initiating
        try {
            @SuppressWarnings("unchecked")
            Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
            nextTab = nt;
        } catch (Throwable ex) {      // try to cope with OOME
            sizeCtl = Integer.MAX_VALUE;
            return;
        }
        nextTable = nextTab;
        transferIndex = n;  // 从右边向左开始迁移桶中node
    }
    int nextn = nextTab.length;
    ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
    boolean advance = true;
    boolean finishing = false; // to ensure sweep before committing nextTab
    for (int i = 0, bound = 0;;) {
        Node<K,V> f; int fh;
        while (advance) {
            int nextIndex, nextBound;
            //bound表示由当前线程负责迁移的hash桶的最后一个索引值(从右向左),--i>==bound,表示还在当前线程负责迁移的范围内,继续迁移
            if (--i >= bound || finishing)
                advance = false;
            else if ((nextIndex = transferIndex) <= 0) {    //表示table中的hash桶已经全部分配完毕,所有桶均有线程在进行迁移
                i = -1;
                advance = false;
            }
            //cas无锁算法设置 transferIndex = transferIndex - stride
            //设置成功,表示table[transferIndex-1]--table[transferIndex-stride]这个闭区间内(stride)个hash桶由当前线程负责迁移
            //当迁移完bound(负责的最后一个桶索引值)这个桶后,尝试更新transferIndex,获取下一批待迁移的hash桶
            else if (U.compareAndSwapInt
                     (this, TRANSFERINDEX, nextIndex,
                      nextBound = (nextIndex > stride ?
                                   nextIndex - stride : 0))) {
                bound = nextBound;
                i = nextIndex - 1;
                advance = false;
            }
        }
        if (i < 0 || i >= n || i + n >= nextn) {
            int sc;
            // 迁移完成,将table指向新的数组,sizeClt设置为扩容阈值
            // 这里貌似也没有考虑并发,没有通过CAS操作来设置这些值,其实此时只剩下最后一个扩容线程在完成此项工作,其他的辅助扩容线程均已退出
            if (finishing) {
                nextTable = null;
                table = nextTab;
                sizeCtl = (n << 1) - (n >>> 1);
                return;
            }
            /**
             * 第一个扩容的线程,执行transfer方法之前,会设置 sizeCtl = (resizeStamp(n) << RESIZE_STAMP_SHIFT) + 2)
             * 后续帮其扩容的线程,执行transfer方法之前,会设置 sizeCtl = sizeCtl+1
             * 每一个退出transfer的方法的线程,退出之前,会设置 sizeCtl = sizeCtl-1
             * 那么最后一个线程退出时:
             * 必然有sc == (resizeStamp(n) << RESIZE_STAMP_SHIFT) + 2),即 (sc - 2) == resizeStamp(n) << RESIZE_STAMP_SHIFT
             * https://www.jianshu.com/p/487d00afe6ca
             */
            //不相等,说明不到最后一个线程,直接退出transfer方法
            if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
                if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
                    return;
                finishing = advance = true;
                i = n; // recheck before commit
            }
        }
        else if ((f = tabAt(tab, i)) == null)
            advance = casTabAt(tab, i, null, fwd);
        else if ((fh = f.hash) == MOVED)
            advance = true; // already processed
        else {
            synchronized (f) {
                if (tabAt(tab, i) == f) {
                    Node<K,V> ln, hn;
                    // 链表迁移
                    if (fh >= 0) {
                        int runBit = fh & n;
                        Node<K,V> lastRun = f;
                        for (Node<K,V> p = f.next; p != null; p = p.next) {
                            int b = p.hash & n;
                            if (b != runBit) {
                                runBit = b;
                                lastRun = p;
                            }
                        }
                        if (runBit == 0) {
                            ln = lastRun;
                            hn = null;
                        }
                        else {
                            hn = lastRun;
                            ln = null;
                        }
                        for (Node<K,V> p = f; p != lastRun; p = p.next) {
                            int ph = p.hash; K pk = p.key; V pv = p.val;
                            if ((ph & n) == 0)
                                ln = new Node<K,V>(ph, pk, pv, ln);
                            else
                                hn = new Node<K,V>(ph, pk, pv, hn);
                        }
                        setTabAt(nextTab, i, ln);
                        setTabAt(nextTab, i + n, hn); //为什么直接设置为i+n,见文章画图说明
                        setTabAt(tab, i, fwd);      //迁移完毕设置为ForwardingNode节点,节点hash值设置为MOVED(-1)
                        advance = true;
                    }
                    //红黑树迁移
                    else if (f instanceof TreeBin) {
                        TreeBin<K,V> t = (TreeBin<K,V>)f;
                        TreeNode<K,V> lo = null, loTail = null;
                        TreeNode<K,V> hi = null, hiTail = null;
                        int lc = 0, hc = 0;
                        for (Node<K,V> e = t.first; e != null; e = e.next) {
                            int h = e.hash;
                            TreeNode<K,V> p = new TreeNode<K,V>
                                (h, e.key, e.val, null, null);
                            if ((h & n) == 0) {
                                if ((p.prev = loTail) == null)
                                    lo = p;
                                else
                                    loTail.next = p;
                                loTail = p;
                                ++lc;
                            }
                            else {
                                if ((p.prev = hiTail) == null)
                                    hi = p;
                                else
                                    hiTail.next = p;
                                hiTail = p;
                                ++hc;
                            }
                        }
                        ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
                            (hc != 0) ? new TreeBin<K,V>(lo) : t;
                        hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
                            (lc != 0) ? new TreeBin<K,V>(hi) : t;
                        setTabAt(nextTab, i, ln);
                        setTabAt(nextTab, i + n, hn);
                        setTabAt(tab, i, fwd);
                        advance = true;
                    }
                }
            }
        }
    }
}

rehash过程

rehash过程中以下这两行代码的理解,为什么可以直接一部分保留在当前索引位置的hash桶,另一部分的位置索引为当前索引+扩容前的大小?这里可以看到每次扩容后的大小保持为2的幂次方展现的优势。

setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);

例如我们从16扩展为32时,具体的变化如下所示:

如图假设hashcode为10101,当n为16时索引为((n-1)&hashcode=0101),当n为32时,则索引为((n-1)&hashcode=10101==0101(当前index值)+10000(扩容前的容量值)),索引位置index为当前index直接加扩充前的容量值

计算索引时,需要用hashcode与(n-1)进行位与操作,(n-1)的二进制表示中为1的个数为低m=log(n)位,所以hashCode二进制表示中低m位才有效,参与索引计算。当扩容时n<<1,因为n变为2倍,那么n-1的mask范围在高位多1bit(红色),hashcode中参与索引计算的有效位变为m+1,且最高有效位(即第m+1位)决定了索引值,当hashcode中第m+1位为0时,新的索引值与扩容前相同,当hashcode中第m+1位为1时,新的索引值为扩容前索引值+2的m次方(2的m次方即为扩容前的容量大小n)

因此rehash时,不需要重新计算散列索引值,根据扩容后hashcode的最高有效位(新增的那个bit位)是1还是0,将原来hash桶中的链表或者红黑树分为两部分,最高有效位为0的部分索引值与扩容前相同,保留在当前hash桶中,最高有效位为1的部分在新的table中的索引位置为i+n

可以看看下图为16扩充为32的resize示意图:

图中蓝色节点表示hashcode中新增的那个bit位为0,灰色节点表示新增的那个bit位为1

将链表根据最高有效位划分为两部分的代码如下所示:

int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
    int b = p.hash & n;
    if (b != runBit) {
        runBit = b;
        lastRun = p;
    }
}
if (runBit == 0) {
    ln = lastRun;
    hn = null;
}
else {
    hn = lastRun;
    ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
    int ph = p.hash; K pk = p.key; V pv = p.val;
    if ((ph & n) == 0)
        ln = new Node<K,V>(ph, pk, pv, ln);
    else
        hn = new Node<K,V>(ph, pk, pv, hn);
}

示意图如下图所示:

假设图中蓝色节点的最高有效位为0,红色节点的最高有效位为1,

  • 第一遍遍历后,设置lastRun和对应的runBit,lastRun指向G,runBit为1,所以hn为节点G,ln为null;
  • 重新遍历链表,以lastRun节点为终止条件,将最高有效位为0的节点插入ln头部,为1的节点插入hn头部;完成后ln链表中的节点都是倒序的,hn链表中的节点lastRun以前的也都是倒序;
  • 最后将ln指针指向的链表插入当前槽位,hn指针指向的链表插入当前槽位index+n的槽位,完成rehash操作。

辅助扩容

当线程对ConcurrentHashMap操作时,发现有其他线程正在进行扩容,则会帮助一起扩容

final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
    Node<K,V>[] nextTab; int sc;
    if (tab != null && (f instanceof ForwardingNode) &&
        (nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) {
        int rs = resizeStamp(tab.length);
        while (nextTab == nextTable && table == tab &&
               (sc = sizeCtl) < 0) {
            // 检查是否需要帮忙扩容,如若不满足条件则返回
            if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                sc == rs + MAX_RESIZERS || transferIndex <= 0)
                break;
            // 将正在扩容的线程数加1
            if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
                transfer(tab, nextTab);
                break;
            }
        }
        return nextTab;
    }
    return table;
}

helpTransfer函数和前面介绍的addCount函数中代码基本相同

还有一个函数TryPresize,可能会触发table初始化或者扩容操作,其函数实现和前面介绍的内容基本相同,就不重复贴代码了

获取操作–get()函数实现

从ConcurrentHashMap中查找key,存在返回对应的value,否则返回null,无需加锁;当table正在扩容时,如果key所在的hash桶已经被迁移到nextTable中,则到nextTable中进行查找

public V get(Object key) {
    Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
    int h = spread(key.hashCode());
    if ((tab = table) != null && (n = tab.length) > 0 &&
        (e = tabAt(tab, (n - 1) & h)) != null) {
        if ((eh = e.hash) == h) {
            if ((ek = e.key) == key || (ek != null && key.equals(ek)))
                return e.val;
        }
        /**
         * 此处的find操作会表现出多态性,出现动态调用,根据Node的实际类型调用相应的Node子类中的find函数
         * eh < 0 有以下几种情况:
         * (1)eh == MOVED(-1),此节点为ForwardingNode,表示正在进行扩容操作,该hash桶已经被迁移至nextTable,会调用ForwardingNode子类的find函数
         * (2)eh == TREEBIN(-2),此节点为TreeBin,表示此hash桶中节点保存形式为红黑树结构,调用TreeBin子类的find函数
         * (3)eh == RESERVED(-3),此节点为ReservationNode,表示为一保留节点,调用ReservationNode子类的find函数(返回 null)
         */
        else if (eh < 0)
            return (p = e.find(h, key)) != null ? p.val : null;
        while ((e = e.next) != null) {
            if (e.hash == h &&
                ((ek = e.key) == key || (ek != null && key.equals(ek))))
                return e.val;
        }
    }
    return null;
}

在ForwardingNode、TreeBin等Node子类中均有重新实现find函数

计数–size()函数实现

当向ConcurrentHashMap中插入和删除数据时,会调用addCount函数增加或减少map中key的计数,ConcurrentHashMap中使用一个volatile类型的变量baseCount记录元素的个数,在并发量很高时,如果存在多个线程同时执行CAS修改baseCount值,CAS操作失败的线程会使用CounterCell数组记录元素的个数;

因此计算size时,使用baseCount大小加上CounterCell数组中各个元素中保存的key大小;由于可能存在并发操作,其实在高并发下,size大小可能会有误差。

相关成员属性介绍

  • private transient volatile long baseCount;

    map中key的计数,CAS操作

  • private transient volatile CounterCell[] counterCells;

    当CAS操作baseCount失败时,使用CounterCell数组来记录元素个数

  • private transient volatile int cellsBusy;

    用于扩容或者创建counterCells时的CAS自旋锁变量

    线程需要扩容或者创建counterCells时,先使用CAS操作将cellsBusy从0设置为1,设置成功的线程可以扩容或者创建counterCells,保证线程安全

源码分析

增加或减少计数

增加或减少计数的代码在addCount函数中

CounterCell[] as; long b, s;
// 如果counterCells != null,则直接在counterCells中记录元素个数
if ((as = counterCells) != null ||
    !U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
    // 初始化时counterCells为空,在并发量很高时,如果存在两个线程同时执行CAS修改baseCount值,
    // 则失败的线程会继续执行方法体中的逻辑,使用CounterCell记录元素个数的变化;
    CounterCell a; long v; int m;
    boolean uncontended = true;
    if (as == null || (m = as.length - 1) < 0 ||
        (a = as[ThreadLocalRandom.getProbe() & m]) == null ||
        !(uncontended =
          U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
        // 如果CounterCell数组为null或者大小为空数组;或者对应的数组元素为null;或者CAS设置元素值失败,则调用fullAddCount()
        fullAddCount(x, uncontended);
        return;
    }
    if (check <= 1)
        return;
    s = sumCount();

fullAddCount函数如下:

private final void fullAddCount(long x, boolean wasUncontended) {
    int h;
    // 初始时ThreadLocalRandom.getProbe()为0
    if ((h = ThreadLocalRandom.getProbe()) == 0) {
        ThreadLocalRandom.localInit();      // force initialization
        h = ThreadLocalRandom.getProbe();
        wasUncontended = true;
    }
    boolean collide = false;                // True if last slot nonempty
    for (;;) {
        CounterCell[] as; CounterCell a; int n; long v;
        // 如果counterCells不为null,则找一个数组位置,在其元素CounterCell对象中记录元素计数
        if ((as = counterCells) != null && (n = as.length) > 0) {
            if ((a = as[(n - 1) & h]) == null) {    // 由于CounterCell数组大小n始终为2的幂次方,所以用(n-1)&h替代h%n
                // 如果插入位置的CounterCell对象为null,则CAS修改cellsBusy,修改成功则插入一个对象保存计数,保证线程安全
                if (cellsBusy == 0) {            // Try to attach new Cell
                    CounterCell r = new CounterCell(x); // Optimistic create
                    if (cellsBusy == 0 &&
                        U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
                        boolean created = false;
                        try {               // Recheck under lock
                            CounterCell[] rs; int m, j;
                            if ((rs = counterCells) != null &&
                                (m = rs.length) > 0 &&
                                rs[j = (m - 1) & h] == null) {
                                rs[j] = r;
                                created = true;
                            }
                        } finally {
                            cellsBusy = 0;
                        }
                        if (created)
                            break;
                        continue;           // Slot is now non-empty
                    }
                }
                collide = false;
            }
            else if (!wasUncontended)       // CAS already known to fail
                wasUncontended = true;      // Continue after rehash
            // 如果对应的位置存在CounterCell对象,则CAS修改计数,修改成功则返回
            else if (U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))
                break;
            else if (counterCells != as || n >= NCPU)
                collide = false;            // At max size or stale
            else if (!collide)
                collide = true;
            else if (cellsBusy == 0 &&
                     U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
                // 如果经常CAS设置值失败,则扩容CounterCell数组
                try {
                    if (counterCells == as) {// Expand table unless stale
                        CounterCell[] rs = new CounterCell[n << 1];
                        for (int i = 0; i < n; ++i)
                            rs[i] = as[i];
                        counterCells = rs;
                    }
                } finally {
                    cellsBusy = 0;
                }
                collide = false;
                continue;                   // Retry with expanded table
            }
            // 修改h,换一个数组位置记录计数
            h = ThreadLocalRandom.advanceProbe(h);
        }
        // 如果CounterCell数组counterCells为空,进行初始化,并插入对应的记录数
        // 通过CAS设置cellsBusy字段,只有设置成功的线程才能初始化CounterCell数组,保证并发安全
        else if (cellsBusy == 0 && counterCells == as &&
                 U.compareAndSwapInt(this, CELLSBUSY, 0, 1)) {
            boolean init = false;
            try {                           // Initialize table
                if (counterCells == as) {
                    CounterCell[] rs = new CounterCell[2];
                    rs[h & 1] = new CounterCell(x);
                    counterCells = rs;
                    init = true;
                }
            } finally {
                cellsBusy = 0;
            }
            if (init)
                break;
        }
        // 如果通过CAS设置cellsBusy字段失败的话,则继续尝试通过CAS修改baseCount字段,
        // 如果修改baseCount字段成功的话,就退出循环,否则继续循环插入CounterCell对象;
        else if (U.compareAndSwapLong(this, BASECOUNT, v = baseCount, v + x))
            break;                          // Fall back on using base
    }
}

统计元素个数

baseCount加上数组counterCells中各个CounterCell对象中保存的记录之和

public int size() {
    long n = sumCount();
    return ((n < 0L) ? 0 :
            (n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :
            (int)n);
}
final long sumCount() {
    CounterCell[] as = counterCells; CounterCell a;
    long sum = baseCount;
    if (as != null) {
        for (int i = 0; i < as.length; ++i) {
            if ((a = as[i]) != null)
                sum += a.value;
        }
    }
    return sum;
}

参考链接

[1] http://wuzhaoyang.me/2016/09/05/java-collection-map-2.html

[2] http://blog.csdn.net/u010412719/article/details/52145145

[3] https://www.cnblogs.com/yangming1996/p/8031199.html

[4] http://blog.csdn.net/u010723709/article/details/48007881